这个真的是说来话太长。
最先是看了scrapy的官方文档,安装成功之后就创建了一个新的工程。
然后里面自身就包含如下内容:
· scrapy.cfg: 项目的配置文件
· tutorial/: 该项目的python模块。之后您将在此加入代码。
· tutorial/items.py: 项目中的item文件.
· tutorial/pipelines.py: 项目中的pipelines文件.
· tutorial/settings.py: 项目的设置文件.
· tutorial/spiders/: 放置spider代码的目录.
首先定义一个item文件:
import scrapy
from scrapy import Item, Field
class yilongItem(scrapy.Item):
title = scrapy.Field()
contentnews = scrapy.Field()
pass
创建一个Spider,继承 scrapy.Spider 类, 定义以下三个属性:
· name: 用于区别Spider。 该名字必须是唯一的,您不可以为不同的Spider设定相同的名字。
· start_urls: 包含了Spider在启动时进行爬取的url列表。 因此,第一个被获取到的页面将是其中之一。 后续的URL则从初始的URL获取到的数据中提取。
· parse() 是spider的一个方法。 被调用时,每个初始URL完成下载后生成的Response 对象将会作为唯一的参数传递给该函数。该方法负责解析返回的数据(response data),提取数据(生成item)以及生成需要进一步处理的URL的Request 对象。
然后在该目录下创建一个main.py文件,内容如下:
from scrapy import cmdline
user_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_3) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.54 Safari/536.5'
cmdline.execute(['scrapy','crawl','yilong'])
自定义了一个py文件,我定义的是yilong.py。光是导入的就有很多很多: